Image super-resolution is a common task on mobile and IoT devices, where one often needs to upscale and enhance low-resolution images and video frames. While numerous solutions have been proposed for this problem in the past, they are usually not compatible with low-power mobile NPUs having many computational and memory constraints. In this Mobile AI challenge, we address this problem and propose the participants to design an efficient quantized image super-resolution solution that can demonstrate a real-time performance on mobile NPUs. The participants were provided with the DIV2K dataset and trained INT8 models to do a high-quality 3X image upscaling. The runtime of all models was evaluated on the Synaptics VS680 Smart Home board with a dedicated edge NPU capable of accelerating quantized neural networks. All proposed solutions are fully compatible with the above NPU, demonstrating an up to 60 FPS rate when reconstructing Full HD resolution images. A detailed description of all models developed in the challenge is provided in this paper.
translated by 谷歌翻译
最近的作品为张量网络结构搜索（TN-SS）付出了很多努力，旨在选择合适的张量网络（TN）结构，涉及TN级别，格式等，以进行分解或学习任务。在本文中，我们考虑了TN-SS的实用变体，称为TN置换搜索（TN-PS），其中我们在其中搜索从张量模式到TN顶点（核心张量）的良好映射以进行紧凑的TN表示。我们对TN-PS进行了理论研究，并提出了一种实际效率的算法来解决该问题。从理论上讲，我们证明了TN-PS的搜索空间的计数和度量属性，首次分析TN结构对这些唯一属性的影响。从数字上讲，我们提出了一种新颖的元元素算法，其中搜索是通过在我们理论中建立的邻域中随机采样来完成的，然后将其反复更新邻域直至收敛。数值结果表明，新算法可以减少广泛基准中TNS所需的模型大小，这意味着TNS的表达能力的提高。此外，新算法的计算成本明显小于〜\ cite {li2020进化}中的计算成本。
translated by 谷歌翻译
显着对象检测是预测给定场景中人类参加区域的任务。融合深度信息已被证明在此任务中有效。该问题的主要挑战是如何从RGB模式和深度模式中汇总互补信息。但是，传统的深层模型在很大程度上依赖CNN特征提取器，并且通常会忽略远距离的依赖性。在这项工作中，我们提出了基于双Swin-Transformer的相互交互式网络。我们采用Swin-Transformer作为RGB和深度模态的特征提取器，以模拟视觉输入中的远程依赖性。在将两个特征分支融合到一个分支之前，将应用基于注意力的模块来增强每种模式的特征。我们设计了一个基于自我注意力的跨模式交互模块和一个封闭式的模态注意模块，以利用两种方式之间的互补信息。对于显着解码，我们创建了通过密集的连接增强的不同阶段，并保持解码的内存，而多级编码功能则被同时考虑。考虑到不准确的深度图问题，我们将早期阶段的RGB特征收集到跳过卷积模块中，以提供从RGB模式到最终显着性预测的更多指导。此外，我们添加了边缘监督以使功能学习过程正常。对四个评估指标的五个标准RGB-D SOD基准数据集进行了全面的实验，证明了所提出的DTMINET方法的优势。
translated by 谷歌翻译
文档级关系提取（DRE）旨在识别两个实体之间的关系。实体可以对应于超越句子边界的多个提升。以前很少有研究已经调查了提及集成，这可能是有问题的，因为库鲁弗提到对特定关系没有同样有贡献。此外，事先努力主要关注实体级的推理，而不是捕获实体对之间的全局相互作用。在本文中，我们提出了两种新颖的技术，上下文指导的集成和交互推理（CGM2IR），以改善DRE。而不是简单地应用平均池，而是利用上下文来指导在加权和方式中的经验提升的集成。另外，对实体对图的相互作用推理在实体对图上执行迭代算法，以模拟关系的相互依赖性。我们在三个广泛使用的基准数据集中评估我们的CGM2IR模型，即Docred，CDR和GDA。实验结果表明，我们的模型优于以前的最先进的模型。
translated by 谷歌翻译
预先接受的语言模型实现了最先进的导致各种自然语言处理（NLP）任务。 GPT-3表明，缩放预先训练的语言模型可以进一步利用它们的巨大潜力。最近提出了一个名为Ernie 3.0的统一框架，以预先培训大型知识增强型号，并培训了具有10亿参数的模型。 Ernie 3.0在各种NLP任务上表现出最先进的模型。为了探讨缩放的表现，我们培养了百卢比的3.0泰坦参数型号，在PaddlePaddle平台上有高达260亿参数的泰坦。此外，我们设计了一种自我监督的对抗性损失和可控语言建模损失，以使ERNIE 3.0 TITAN产生可信和可控的文本。为了减少计算开销和碳排放，我们向Ernie 3.0泰坦提出了一个在线蒸馏框架，教师模型将同时教授学生和培训。埃塞尼3.0泰坦是迄今为止最大的中国密集预训练模型。经验结果表明，Ernie 3.0泰坦在68个NLP数据集中优于最先进的模型。
translated by 谷歌翻译
分布式培训已成为培训大型神经网络（NN）模型的普遍性和有效的方法，该模型加工大规模数据。然而，满足来自各种NN模型，多样化计算资源的要求以及在培训工作期间的动态变化是非常挑战的。在这项研究中，我们在系统的端到端视图中设计了我们的分布式训练框架，以提供不同场景的内置自适应能力，特别是对于工业应用和生产环境，通过完全考虑资源分配，模型分区，任务放置和分布式执行。基于统一的分布式图和统一群集对象，我们的自适应框架配备了全球成本模型和全局计划者，可以实现任意并行，资源感知的放置，多模式执行，容错和弹性分布式。训练。实验表明，我们的框架可以满足应用程序的多样性和资源的异质性满足各种要求和具有竞争力的性能。具有260亿参数的Ernie语言模型在数千个AI处理器上有效地培训，可扩展性较弱的91.7％。通过采用异质管道异步执行，从推荐系统的模型的吞吐量可以分别增加到2.1倍，仅增加了GPU和CPU培训的3.3倍。此外，容错和弹性分布式培训已成功应用于在线工业应用，这减少了长期培训工作的数量，增加了34.49％，并在全球调度效率增加了33.91％生产环境。
translated by 谷歌翻译
目标图像质量评估是一个具有挑战性的任务，旨在自动测量给定图像的质量。根据参考图像的可用性，分别存在全引用和无引用IQA任务。大多数深度学习方法使用卷积神经网络提取的深度特征的回归。对于FR任务，另一种选择是对深度特征进行统计比较。对于所有这些方法，通常忽略非本地信息。此外，探索FR和NR任务之间的关系不太探索。通过最近的变压器成功在建模上下文信息中，我们提出了一个统一的IQA框架，它利用CNN骨干和变压器编码器提取特征。所提出的框架与FR和NR模式兼容，并允许联合训练方案。评估实验在三个标准IQA数据集，即LIVE，CSIQ和TID2013和KONIQ-10K上，显示我们所提出的模型可以实现最先进的FR性能。此外，在广泛的实验中实现了相当的NR性能，结果表明，联合训练方案可以利用NR性能。
translated by 谷歌翻译
我们通过将此任务视为视觉令牌生成问题来提出新的视角来实现图像综合。与现有的范例不同，即直接从单个输入（例如，潜像）直接合成完整图像，新配方使得能够为不同的图像区域进行灵活的本地操作，这使得可以学习内容感知和细粒度的样式控制用于图像合成。具体地，它需要输入潜像令牌的序列，以预测用于合成图像的视觉令牌。在这种观点来看，我们提出了一个基于令牌的发电机（即Tokengan）。特别是，Tokengan输入了两个语义不同的视觉令牌，即，来自潜在空间的学习常量内容令牌和风格代币。鉴于一系列风格令牌，Tokengan能够通过用变压器将样式分配给内容令牌来控制图像合成。我们进行了广泛的实验，并表明拟议的Tokengan在几个广泛使用的图像综合基准上实现了最先进的结果，包括FFHQ和LSUN教会，具有不同的决议。特别地，发电机能够用1024x1024尺寸合成高保真图像，完全用卷曲分配。
translated by 谷歌翻译
学习的图像压缩技术近年来取得了相当大的发展。在本文中，我们发现性能瓶颈位于使用单个高度解码器，在这种情况下，三元高斯模型折叠到二进制文件。为了解决这个问题，我们建议使用三个高度解码器来分离混合参数的解码过程，以分散的高斯混合似然性，实现更准确的参数估计。实验结果表明，与最先进的方法相比，MS-SSSIM优化的所提出的方法实现了3.36％的BD速率。所提出的方法对编码时间和拖鞋的贡献可以忽略不计。
translated by 谷歌翻译
本文介绍了WenetsPeech，一个由10000多小时的高质量标记语音组成的多域普通话语料库，2400多小时弱贴言论，大约100万小时的语音，总共22400多小时。我们收集来自YouTube和Podcast的数据，涵盖各种演讲样式，场景，域名，主题和嘈杂的条件。引入了基于光学字符识别（OCR）的方法，以在其对应的视频字幕上为YouTube数据生成音频/文本分段候选，而高质量的ASR转录系统用于为播客数据生成音频/文本对候选。然后我们提出了一种新的端到端标签错误检测方法，可以进一步验证和过滤候选者。我们还提供三个手动标记的高质量测试集，以及WenetsPeech进行评估 - 开发用于训练中的交叉验证目的，从互联网收集的匹配测试，并从真实会议中记录的测试\ _MEETING，以获得更具挑战性的不匹配测试。使用有线exeeEX培训的基线系统，用于三个流行的语音识别工具包，即Kaldi，Espnet和Wenet，以及三个测试集的识别结果也被提供为基准。据我们所知，WenetsPeech是目前最大的开放式普通话语音语料库，其中有利于生产级语音识别的研究。
translated by 谷歌翻译